Reka bentuk masjid ini menurut tata rajah tradisional India Utara, dengan dewan solat terbuka ke arah laman tertutup atau "sahn". Masjid ini diapit dengan dua menara dan beberapa menara lebih kecil. Kubah bebawang di kemuncak dewan solat dan di kemuncak menara menyerupai seni bina Moghul.

Masjid Jamek adalah contoh seni bina "rasmi" British di Malaysia, yang membabitkan gabungan unsur Moor dan Mughal. Belang merah dan putih dinding batu sama seperti Masjid Jamek di Cordoba, Sepanyol, membentuk dinding luar masjid. Persamaan lain dengan masjid Moor boleh dilihat pada gerbang bertiang dalam bentuk berpetak dan perincian dengan selang jalur batu-bata, plaster dan marmar.

Pentadbir Inggeris adalah pihak yang mula membawa kubah di bangunan-bangunan di Malaysia. sumber inspirasi mereka ialah bangunan-bangunan Moghul di India. Maka muncullah masjid berkubah di Masjid Ubudiah di Kuala Kangsar, Masjid Zahir Alor Star dan Masjid Jamek Kuala Lumpur. Kemuncaknya ialah Bangunan Sultan Abdul Samad, bangunan ibu pejabat KTM dan Stesen kereta api Kuala Lumpur.[3]